Частота и серьёзность сбоев в ЦОД постепенно снижается относительно общей ёмкости объектов. Тем не менее, сообщает The Register, нарушения работы могут очень дорого обойтись операторам и их клиентам, а проблемы с электропитанием ведут к особенно серьёзным последствиям.

Ёмкость дата-центров постоянно увеличивается, так что общее количество инцидентов тоже растёт, но по данным Uptime Institute, частота и тяжесть происшествий увеличивается относительно медленными темпами. И хотя их стало больше в абсолютном значении, темпы прироста заметно упали в последние годы. На то имеется ряд причин, включая тот факт, что многие организации стали интенсивно вкладываться в обеспечение надёжности работы оборудования. Среди других причин называются переход клиентов в облака и внедрение новых технологий для соответствия требованиям регуляторов.

Источник изображения: Uptime Institute

Однако Uptime Institute предупреждает, что данные о перебоях могут оказаться не вполне точными, потому что операторы зачастую не желают раскрывать информацию об инцидентах из-за возможного репутационного ущерба, так что сведения приходится собирать из открытых источников. В докладе Annual Outage Analysis 2024 констатируется, что 55 % опрошенных представителей операторов подтвердили, что в последние три года в их ЦОД были перебои. С другой стороны, годом ранее речь шла о 60 %, а в 2021 году — о 69 %. В то же время только 10 % сбоев за последний год оценили как «серьёзные» или «тяжёлые», тогда как двумя годами ранее таковых было на 14 п.п. больше.

54 % респондентов отметили, что самые значимые происшествия в их компаниях обошлись более чем $100 тыс., а 16 % — более $1 млн. Главной причиной называлась проблема с системой распределения энергии на местах, в докладе эта тема отмечается в 52 % инцидентов. Исследователи говорят, что переход на более «динамичные» электросети с возобновляемыми источниками энергии сделал сети питания менее надёжными. При этом в ряде случаев ИБП/генераторы не смогли корректно отреагировать на отказ сети. Например, ровно это вызвало перебои с сервисами Microsoft Azure в Европе в 2023 году.

Источник изображения: Uptime Institute

Вторая из ключевых причин сбоев — поломка или недостаточная производительность охлаждающего оборудования. Эксперты отметили, что количество проблем со сторонними сервисами выросло с 2020 года вдвое — на них приходится порядка 10 % сбоев в 2023 году. Это связано с ростром популярности облачных сервисов, в том числе SaaS, услуг хостинга и колокации.

Во многих случаях играют роль человеческие ошибки — на них приходится от ⅔ до ⅘ всех инцидентов. Виной некорректное соблюдение процедур по обслуживанию оборудования или некорректность самих процедур. Например, в прошлом году на Нью-йоркской фондовой бирже (NYSE) сотрудник не смог корректно восстановить работу систем после сбоя во вспомогательном ЦОД, что привело к неверному ценообразованию на следующий день. Предполагается, что количество сбоев можно будет уменьшить благодаря более интенсивным тренировкам персонала и аудиту вероятных слабых мест.

Источник изображения: Uptime Institute

По данным Uptime Institute, каждый год случается 10–20 крупных отказов оборудования ЦОД в мире, что ведёт к серьёзным финансовым потерям и перебоям в обслуживании клиентов, а во многих случаях и к репутационным издержкам. В любом случае недавно в Uptime Institute сообщали, что в ближайшие годы затраты на строительство и обслуживание дата-центров будут только расти.

Uptime Institute считает, что операторов ЦОД ожидают испытания — многим придётся пересмотреть свои обещания о сроках достижения нулевых выбросов. Как сообщает Computer Weekly со ссылкой на экспертов организации, бизнес столкнётся с усиливающимся давлением со стороны регуляторов, что повлияет на его планы.

Это лишь один из прогнозов. В частности, в Uptime Institute считают, что «сложный период» для операторов ЦОД продлится до 2030 года — организации будут бороться за то, чтобы добиться поставленных целей, а также противостоять регуляторам и даже некоторым партнёрам, пытаясь привести корпоративные бизнес-задачи в соответствие с целями достижения экоустойчивости и устойчивого развития.

Регуляторы ужесточают контроль за сектором и уже начали прибегать к принудительным мерам достижения собственных целей. Например, инициативы вроде закона ЕС Corporate Sustainability Reporting Directive призваны усилить давление на крупные компании по всему миру. В частности, необходимо будет в обязательном порядке сообщать об углеродных выбросах и связанных с изменением климата рисках. Кроме того, имеется перспектива вступления в ЕС в силу Директивы по энергоэффективности (EED), которая потребует от операторов детально отчитываться об энергорасходах IT-оборудования.

Источник изображения: Johannes Plenio/unsplash.com

Другими словами, некогда поспешно взявшие на себя природоохранные обязательства организации столкнутся с тем, что не смогут их выполнить. Например, как сообщает Uptime Institute, в рамках инициативы ООН Science Based Targets initiative (SBTi) принято решение удалить Amazon Web Services (AWS) из списка компаний, готовых бороться с климатическими изменениями. В 2019 году Amazon обязалась к 2040 году устранить или компенсировать все свои углеродные выбросы, но к августу 2023 года стало понятно, что AWS не удаётся добиться поставленных целей.

Теперь, по мнению Uptime Institute, операторам будет труднее и дороже выполнять публично взятые на себя обязательства, а некоторые могут и вовсе отказаться от них. Другой вариант — максимально снизить прозрачность отчётов о достижении целей, особенно с учётом роста использования энергоёмкого оборудования и ПО, а также недостатка возобновляемой энергии и растущих требований к экоустойчивости со стороны государственных и надгосударственных органов.

Например, британская инициатива по достижению нулевых выбросов предполагает, в частности, создания сетей отопления, которые могли бы использовать избыточное тепло ЦОД для обогрева домов и офисов. Но в результате многие операторы могут стать менее открытыми при публикации отчётов, в которых они раскрывают ключевые показатели экоустойчивости, обнародуя лишь необходимую по закону информацию.

Источник изображения: Elisa Ventur/unsplash.com

По мнению экспертов, индустрия находится в «поворотной точке» — под давлением бизнес может начать широкомасштабное внедрение более «агрессивных и продуманных» стратегий достижения экоустойчивости. В частности, из-за роста спроса на вычислительные мощности операторам придётся прилагать больше усилий для того, чтобы снизить общее энергопотребление.

В Uptime Institute уверены, что выбросы ЦОД и потребление электроэнергии заметно вырастут. По некоторым оценкам, расход электричества в обозримом будущем может как минимум удвоиться. Из-за этого увеличится и нагрузка на энергосети и цепочки поставок, углеродной нейтральности добиться будет ещё сложнее, заодно вырастут затраты на строительство и обслуживание ЦОД — операторы попадут под «перекрёстный огонь» регуляторов, групп мониторинга и всевозможных экоактивистов.

Дата-центры традиционно являются стабильным источником тепла, поэтому многие компании пытаются найти ему применение. Тем не менее, как свидетельствует доклад Uptime Institute, этому есть немало ограничений, связанных как с географическим положением дата-центров, так и с различными техническими и иными ограничениями.

В докладе сообщается о текущем состоянии проектов использования постоянно выделяемого оборудованием ЦОД тепла и упоминаются вызовы, с которыми приходится столкнуться операторам ЦОД и властям всех уровней для того, чтобы подобные схемы заработали. Это тем более важно, что современные дата-центры тратят порядка 20–30 % электроэнергии на охлаждение. При этом проблему можно было бы как минимум частично решить, применив эффективные механизмы отвода тепла.

Индустрия учитывает тренд на создание экоустойчивых систем и принятие законов, нацеленных на защиту окружающей среды, и уделяет всё больше внимания созданию оборудования и технологий, позволяющих, например, использовать избыточное тепло для обогрева жилья и других объектов. К тому же бум в сфере ИИ-систем ведёт к созданию инфраструктуры повышенной энергоёмкости. Рост плотности мощности на стойку постепенно увеличивается, при этом ожидаемо выделяется всё больше тепла.

Источник изображений: Uptime Institute

Лидером по применению «мусорного» тепла ЦОД по версии Uptime Institute является север Европы, отчасти из-за весьма умеренного климата. При этом приходится учитывать, что использование такого тепла возможно, только если рядом есть его потребители, что усложняет задачу и увеличивает издержки при передаче тепла на расстояние. При этом уровень выделения тепла и стоимость энергии в каждом случае разные и многое зависит от сезона. Поэтому строить бизнес на таких технологиях часто нецелесообразно и многие операторы предлагают подобное тепло даром, хотя его удаётся и продавать.

Правда, исследование показало, что в плане энергетики подобные системы обычно либо приносят нулевую пользу, либо и вовсе убыточны, поскольку часто приходится применять тепловые насосы и иные системы донагрева до отдачи тепла в системы отопления, что часто только увеличивает общее потребление энергии. Тем не менее, утверждается, что включение подобных решений в районные системы отопления способно снизить общее потребление энергии и выбросы парниковых газов. Лидерами по внедрению таких проектов являются Швеция, Дания, Финляндия.

Изменение мощности стойки за последние три года

По итогам опроса 2022 года перспективные системы жидкостного охлаждения применяет меньшинство компаний, но подавляющее большинство относится к ним с благосклонным вниманием и рассматривает их применение в будущем.

В ноябре сообщалось, что британское правительство заявляло об инвестициях в объёме $41,4 млн на поддержку схемы передачи избыточного тепла на западе Лондона, способной обеспечить отоплению и горячую воду для 10 тыс. домов. Компания atNorth также раскрыла планы строительства нового ЦОД близ Хельсинки, который тоже будет отдавать тепло в местную систему отопления. По оценкам Uptime Institute, всего сегодня в Европе действуют порядка 60 проектов по использованию тепла ЦОД в отоплении, ещё 6 — в Северной Америке. 11 аналогичных проектов разрабатываются или возводятся.

Новые законы, направленные на борьбу с климатическими изменениями, также способствуют распространению таких систем. Обновлённая европейская Директива по энергоэффективности (EED) регламентирует, что ЦОД от 1 МВт должны либо применять наилучшие практики повышения энергоэффективности, в том числе подключаться к системам отопления, либо доказать, что это нецелесообразно. Более того, германский закон об энергоэффективности Energieeffizienzgesetz (EnEfG) ещё жёстче, поскольку фактически обязывает ЦОД отдавать тепло. В 2026 году вновь построенные ЦОД должны будут утилизировать 10 % избыточного тепла, а в 2028 — уже 20 %. Различные законодательные нормы применяются и в других странах.

Использование систем прямого жидкостного охлаждения

В целом применяются различные схемы, от уже упомянутых до не совсем стандартных. Например, Bytesnet использует погружные СЖО, от которых забирается избыточное тепло, а финский оператор систем отопления Fortum сам определил местоположение ЦОД Microsoft, от которых он получает тепло. Одна из самых необычных схем применяется в Японии, где для охлаждения применяется снег, а талая вода потом применяется для выращивания угрей на продажу. Экономика подобных систем довольно сложна. Приходится учитывать многочисленные факторы, от потребностей местных отопительных сетей до себестоимости энергии и тепла. Впрочем, строить ЦОД с интегрированными механизмами отвода избыточного тепла часто дешевле, чем переделывать старые.

Эксперты Uptime Institute, по сообщению NetworkWorld, предупреждают о возможной опасности использования литий-ионных батарей в ЦОД. По мнению экспертов, такие накопители энергии повышают риск возгорания.

В течение последнего времени сразу несколько крупных дата-центров пережили масштабные пожары. Так, в марте 2021 года огонь уничтожил ЦОД французской компании OVHcloud в Страсбурге. Возгорание также произошло на площадке иранской Telecommunication Infrastructure Company (TIC). Кроме того, пожар привёл к самому масштабному в мире сбою ЦОД Kakao: этот инцидент был вызван воспламенением аккумуляторов. Возгорание батарей спровоцировало проблемы в дата-центре Cyxtera и в ЦОД Maxnod.

Изображение: SK On

Как отмечает консалтинговая фирма Frost & Sullivan, в настоящее время Li-Ion аккумуляторы широко используются в источниках бесперебойного питания. Ожидается, что к 2025 году на них будет приходиться 38,5 % рынка батарей для ЦОД против 15 % в 2020-м. Такие накопители энергии обладают рядом преимуществ по сравнению со свинцово-кислотными батареями — они компактнее, проще в обслуживании и имеют более продолжительный срок эксплуатации. Обратной стороной медали является повышенная вероятность воспламенения.

Источник: Uptime Institute

По оценкам Uptime Institute, примерно 7 % сбоев в ЦОД происходит в связи с пожарами. Причём Li-Ion аккумуляторы крайне плохо поддаются тушению традиционными средствами. Они горят интенсивнее, дольше и при более высокой температуре, нежели свинцово-кислотные изделия. Поэтому такие элементы в случае возгорания могут нанести ЦОД колоссальный ущерб.

Отмечается, что даже если оборудование в дата-центре не пострадает непосредственно от огня, дым и продукты горения, попавшие в серверы, в перспективе могут спровоцировать преждевременные отказы. Поэтому, считают специалисты, операторам ЦОД следует сопоставлять выигрыш в энергоэффективности от внедрения литий-ионных батарей с рисками возгорания и сопутствующими убытками.

Согласно исследованию «Data Center and IT Spending Survey 2022» организации Uptime Institute, более ⅔ операторов предприятий и колокейшн-операторов рассчитывают увеличить расходы на ЦОД в 2023 году. Большинство корпоративных ЦОД (90 %) собираются наращивать мощности в течение следующих двух-трёх лет, причем половина из них планирует строить новые объекты.

В Uptime Institute отметили, что затраты на строительство ЦОД и сроки выполнения заказов, значительно сократившиеся в 2010-х годах, сейчас, наоборот, растут. По оценкам Uptime Institute, в 2010 году строительство среднего корпоративного ЦОД уровня Tier III обходилось примерно в $12 млн/МВт (без учёта земельных и строительных работ), и на это требовалось до двух лет. Перед пандемией COVID-19, благодаря изменениям в проектировании и строительстве, затраты на создание ЦОД сократились до $6–8 млн/МВт, а продолжительность строительства снизилась до менее чем 12 месяцев.

В настоящее время стоимость проектов и сроки их выполения заметно изменились, так как из-за длительного времени ожидания поставки некоторых важных компонентов (генераторы и централизованные системы бесперебойного питания) значительно выросли цены. По оценкам Uptime, к 2022 году затраты на строительство ЦОД уровня Tier III выросли на $1–2 млн/МВт, а продолжительность — до 12 месяцев и больше.

Источник изображений: Uptime Institute

Несмотря на то, что цены на отдельные компоненты начали стабилизироваться, хотя и на более высоком уровне по сравнению с допандемийным периодом, аналитики Uptime Institute ожидают в 2023 году их дальнейший рост. Дефицит продукции вместе с более высокой стоимостью рабочей силы, полупроводников и электроэнергии оказывают инфляционный эффект по всей отрасли, отметили аналитики.

Вместе с тем приобретение площадок в крупных ЦОД с подключением к сети с малой задержкой теперь стоит дороже, поскольку в популярных регионах размещения ЦОД наблюдаются проблемы с наличием свободных участков и обеспечением электроэнергией, отметила Uptime Institute.

Исследование цепочек поставок за 2022 год показывает, что труднее всего было достать холодильные установки для машинных залов, системы ИБП и компоненты распределения электроэнергии. Из 678 участников опроса 80 % сообщили о повышении цен поставщиками за последние 18 месяцев. Отмечено, что цены на литий-ионные аккумуляторы, которые ежегодно снижались до 2021 года, в 2022 году выросли из-за нехватки сырья и высокого спроса.

Также на росте капзатрат отражается ужесточение требований к экологичности проектов. Действующие в крупных локациях ЦОД, таких как Амстердам и Сингапур, нормы приводят к тому, что только разработки с высокоэффективным дизайном могут быть одобрены регулирующими органами. Новые стандарты энергоэффективности (например, в ЕС) ведут к ещё большему росту стоимости строительства. Также будут расти затраты на электроэнергию, что требует оптимизации энергопотребления.

Аналитики считают, что в 2023 году будет наблюдаться рост и по операционным расходам ЦОД и ИТ-инфраструктур из-за резкого увеличения основных затрат на ввод. Исследование Uptime Institute показало, что наибольший рост удельных затрат у большинства операторов связан с электроэнергией, что является результатом высоких цен на газ, перехода на возобновляемые источники энергии, дисбаланса в электроснабжении и геополитических изменений.

Больше всего пострадали от повышения цен Великобритания и Евросоюз. Ожидается, что в дальнейшем затраты на электроэнергию снизятся по сравнению с рекордными показателями в 2022 году, но всё равно останутся значительно выше среднего уровня за последние два десятилетия.

На втором месте после электроэнергии по росту затрат на ЦОД находится ИТ-оборудование, что отчасти связано со сбоями в цепочке поставок, нехваткой некоторых чипов и коммутационного оборудования, а также инфляцией. Как ожидают аналитики, в связи с улучшениями в цепочке поставок, цены и сроки поставки ИТ-оборудования (за некоторыми исключениями) сократятся в первой половине 2023 года. Во второй половине 2023 года спрос на оборудование для ЦОД, как ожидается, снова возрастёт, как только некоторые крупные клиенты займутся увеличением своих мощностей, что снова приведет к дефициту некоторых категорий оборудования.

На увеличение затрат на эксплуатацию ЦОД также влияют проблемы с квалифицированными кадрами — многие респонденты вынуждены повышать зарплату в попытке удержать текущий персонал.

Подводя итоги, Uptime Institute сообщает, что общие затраты на строительство и эксплуатацию ЦОД в течение следующих нескольких лет значительно возрастут. С целью их снижения компании будут использовать различные подходы, включая автоматизацию, повышение энергоэффективности и переход в облако, но это потребует дополнительных капиталовложений, новых навыков и сопряжено с техническими сложностями.

Вместе с тем, несмотря на растущие затраты, многие операторы ЦОД считают, что локальное размещение рабочих нагрузок по-прежнему дешевле, чем колокация (54 %) или миграция в облачную структуру (64 %).

Возникшие в связи с пандемией COVID-19 проблемы в цепочках поставок продемонстрировали зависимость индустрии ЦОД от глобальных рынков. Как сообщает Data Center Knowledge со ссылкой на аналитиков, после пандемии проблем с поставками должно стать меньше, так как сроки доставки сокращаются, а поставщики научились справляться со сложностями. Однако, по данным Uptime Institute, для рынка дата-центров перспективы не столь радужны. В недавнем обзорном отчете организация пришла к выводу, что «операторы ЦОД продолжают сталкиваться со значительными препятствиями в цепочке поставок».

Согласно проведённому опросу, количество сбоев в цепочке поставок за последний год увеличилось. Каждый пятый оператор сообщает о серьёзных задержках или сбоях в своих закупках за предыдущие 18 мес. В конце 2022 года наибольшие проблемы были с поставками систем охлаждения залов и электрооборудования, в частности, ИБП, генераторов и распределительных устройств. Порядка 40 % участников опроса сообщили, что ищут дополнительные источники поставок. Хотя более половины респондентов говорят о медленном улучшении ситуации, количество операторов, столкнувшихся с перебоями или задержками в поставках, за последний год увеличилось примерно на 60 %.

Как отмечено в исследовании, геополитическая напряжённость — особенно между условным Западом во главе с США и Китаем и, в меньшей степени, Россией — порождает дополнительные угрозы. Даже с более диверсифицированными поставками и более высокими целевыми запасами индустрия ЦОД всё равно остаётся особенно уязвимой для связанных с этим угроз. Следует учесть, что в отличие от пандемии, стихийного бедствия или экономического кризиса, возникновение и последствия геополитических событий сложнее смоделировать и, следовательно, сложнее разработать эффективные планы на случай непредвиденных обстоятельств.

Источник: Uptime Institute Journal

В Uptime Intelligence назвали две основные области, в которых сочетание глобальной взаимозависимости и концентрации сделают современную цифровую инфраструктуру уязвимой в случае дальнейшего ухудшения текущей геополитической обстановки — это цепочки поставок полупроводников и подводные кабельные системы.

Производство полупроводников охватывает тысячи компаний из самых разных отраслей, причём на каждом этапе лишь небольшое количество высококвалифицированных поставщиков может обеспечить требуемые стандарты качества и производительности. И, как отметили исследователи, «ни одна страна или торговый блок — независимо от того, насколько они велики или богаты ресурсами — не являются полностью самодостаточными и не станут таковыми в разумные сроки и с разумными экономическими затратами».

Ещё одной проблемой является уязвимость подводных волоконно-оптических кабелей. В настоящее время существует более 500 международных и внутренних подводных сетей, протяжённость которых делает очень сложной их защиту от потенциальных угроз. Вдобавок ко всему эта инфраструктура оказалась под угрозой и из-за климатических изменений. При этом через подводные ВОЛС проходит более 90 % глобального интернет-трафика.

Производители с каждым годом наращивают производительность выпускаемых чипов, что, как утверждает Uptime Institute, может создать проблемы для многих устаревших центров обработки данных, не оборудованных соответствующим образом для работы с новыми системами с более высокой мощностью, передаёт The Register.

Серверные процессоры AMD EPYC Genoa, анонсированные в конце прошлого года, и процессоры Intel Xeon Sapphire Rapids, представленные ранее в этом месяце, являются самыми мощными и энергоёмкими чипами на сегодняшний день, обладая пиковым TDP до 400 Вт и 350 Вт соответственно и приближаясь по данному параметру к ускорителям. Более высокий показатель TDP является следствием повышения плотности размещения вычислительных мощностей. Сейчас двухсокетная 2U-система уже может разместить почти 200 ядер x86-64, тогда как пять лет назад для этого потребовалось бы несколько узлов.

Изображение: pixabay.com / Gam-Ol

Многие ЦОД попросту не рассчитаны на столь «горячие» системы высокой плотности. По словам Uptime Institute, тенденция к использованию систем с более высокой плотностью скоро достигнет точки, когда она начнёт менять существующие представления о проектировании ЦОД. Типичная серверная стойка имеет проектную мощность менее 10 кВт. Но для современных высокоплотных систем этого уже недостаточно. Uptime Institute отмечает, что ЦОД должны производить установку новых систем с запасом на 10–15 лет, учитывая долгосрочные потребности в электроэнергии и охлаждении. При этом, по оценкам Uptime Institute, в течение нескольких лет потребление 1U-места вырастет до примерно 1 кВт.

Кроме того, существует проблема отвода низкотемпературного тепла. За несколько лет желаемая температура шасси упала с 80–82 °C до 55 °C. «Это ключевая проблема: удаление больших объёмов низкотемпературного тепла сложно с точки зрения термодинамики, — отмечают аналитики. — Многие “устаревшие” объекты ограничены в своих возможностях обеспечить необходимый поток воздуха для охлаждения инфраструктуры с высокой плотностью размещения». Американское общество инженеров по отоплению, охлаждению и кондиционированию воздуха (ASHRAE) выпустило пересмотренные рекомендации по эксплуатации ЦОД, включая положения о выделенных низкотемпературных зонах.

Изображение: GRC

Для охлаждения новых систем используются различные решения, включая СЖО. Как отмечает Uptime Institute, по-прежнему существует проблема отсутствия стандартизации, «вызывая опасения по поводу привязки к поставщику и ограничений цепочки поставок для ключевых компонентов, а также ограниченного выбора конфигураций серверов». Пытаясь её решить, и Intel, и Open Compute Project (OCP) работают над эталонными проектами жидкостного охлаждения (в том числе иммерсионного), чтобы улучшить совместимость между оборудованием разных поставщиков. Вместе с тем Uptime Institute считает, что развитие технологий ЦОД также открывает новые возможности для операторов.

Аналитики Uptime Institute также ожидают, что стоимость электроэнергии будет расти и дальше. Существуют также нормативные и связанные с экологией препятствия. Ожидается, что Европейская комиссия примет новые правила в рамках Директивы по энергоэффективности, аналогичные принятым в США, которые будут стимулировать ЦОД к сокращению как потребления энергии, так и выбросов углерода. Этими правилами предполагается введение регулярной отчётности о потреблении энергии и выбросах углерода, что по мнению аналитиков Uptime, позволит повысить эффективность работы ЦОД.

Uptime Institute полагает, что в связи с ростом затрат и неоправдавшимися ожиданиями некоторые предприятия в этом году приостановят или замедлят миграцию в облака. По словам аналитиков, широко распространённое мнение о том, что переход в публичное облако является гибкой и недорогой альтернативой локальной инфраструктуре с низким уровнем риска, в течение 2023 года будет подвергаться всё более критической оценке, из-за чего некоторые компании со сложной инфраструктурой могут замедлить или даже приостановить миграцию в облако.

«Как правило, CIO, отвечающие за критически важные ИТ, считают переход к публичному облаку менее рискованным, гибким, ориентированным на будущее и, в конечном счёте, недорогим», — сообщает Uptime Institute, отметив, что в существующих реалиях это мнение может измениться. «Поскольку ближайшие годы грозят быть экономически и политически неспокойными, инфраструктура и цепочки поставок будут подвержены сбоям», — прогнозирует Uptime Institute, полагая, что компаниям будет необходимо тщательно анализировать финансовые и другие риски переноса локальных приложений в публичное облако, учитывая при этом мнение акционеров и решения регулирующих органов.

Изображение: Microsoft Azure

Обсуждение этого вопроса стало результатом масштабных сбоев, которые вывели десятки компаний из строя на длительное время, а также тем, что предприятия иногда недооценивают, насколько значительными могут быть затраты на адаптацию их приложений для работы в облаке. «Может потребоваться больше усилий и больше инвестиций, чтобы гарантировать, что отказоустойчивость сохранится и будет очевидна для клиентов. Облако в прошлом рассматривалось как вариант с низким уровнем риска, но баланс неопределённости меняется — как и уровень затрат», — говорится в отчёте.

Изображение: Rackspace Technology

Uptime Institute также отмечает, что «успешная и полнофункциональная миграция в облако» часто влечёт за собой дополнительные «значительные затраты, связанные с изменением архитектуры приложений, чтобы сделать их облачными, и затраты, возникающие при выполнении рабочих нагрузок в нескольких зонах доступности по соображениям отказоустойчивости». По словам аналитиков, основная причина, по которой компании возвращают обработку своих рабочих нагрузок из публичного облака обратно в локальную среду — это стоимость услуг. При этом у многих компаний нет ресурсов на непредвиденные затраты, необходимые, чтобы повысить отказоустойчивость или производительность облачных приложений.

Вместе с тем Uptime Institute утверждает, что замедление темпов миграции в облако не следует расценивать как то, что публичное облако «достигло своего пика» или что переход в облако больше не имеет «стратегической ценности». «Использование публичного облака по-прежнему резко растёт и по-прежнему стимулирует рост отрасли ЦОД. Публичное облако по-прежнему будет являться почти автоматическим выбором для большинства новых приложений, но компании со сложными, критическими и гибридными требованиями, скорее всего, замедлят или приостановят миграцию из локальной инфраструктуры в облако», — уточнили в Uptime Institute.

Как сообщается в блоге Uptime Institute, вспышки на Солнце или корональные выбросы способны вызвать геомагнитные бури, достаточные для нанесения ущерба электросетям и электронике. Но защита необходима не только от природных явлений — современные технологии позволяют сгенерировать опасный для ЦОД электромагнитный импульс (ЭМИ) с помощью устройства размером с чемодан, что открывает широкое поле для шантажа и преступлений.

Известно, что вызываемые солнечными вспышками импульсы класса G3 происходят относительно часто и могут вызвать повреждения как электросетей, так и электроники. По данным Uptime Institute, особенно для них уязвимы высоковольтные линии и иные подобные объекты — такие импульсы особенно «эффективно» влияют на проводники протяжённостью в километры. Но если шторм уровня G3 грозит неполадками в инфраструктуре, то G5 способен буквально уничтожать высоковольтные трансформаторы, не говоря о тонкой электронике.

Источник изображения: Selvan B/unsplash.com

К счастью, солнечные бури класса G5 случаются примерно раз в 25 лет, да и естественная защита Земли способна уберечь от многих последствий геомагнитных штормов, хотя и она не всегда помогает. Последний крупный инцидент случился в марте 1989 года, когда солнечная буря вывела из строя энергосеть компании Hydro-Québec на 9 часов. Впрочем, для создания проблем операторам ЦОД такой мощности импульсов и не понадобится. Даже менее интенсивные геомагнитные бури негативно влияют на энергосети и способны вывести из строя оборудование для управления энергоснабжением.

Источник: Uptime Institute

Хотя ИБП призваны бороться с такими проблемами, иногда импульс способен преодолеть защиту. А поскольку сейчас нет возможности делать точные прогнозы возникновения таких импульсов, Uptime Institute рекомендует отключать магистральное энергоснабжение во время геомагнитных бурь, переключаясь на резервные источники питания. Но запаса их энергии может не хватить на временную изоляцию ЦОД от энергосети на всё время вспышки, так что дополнительно рекомендуется распределять нагрузки между разными регионами.

Источник изображения: NASA

Практически никто из опрошенных Uptime операторов ЦОД не применял специальных мер защиты от ЭМИ. Впрочем, все природные явления бледнеют перед возможными рукотворными импульсами, которые можно сгенерировать вблизи ЦОД. Они способны повредить не только энергосети, но и саму электронику. Проводившиеся США испытания показали, что взрыв в атмосфере ядерной боеголовки создаёт достаточно мощный для повреждения энергосетей и электроники импульс, но вероятность такого события крайне мала.

Но электромагнитным оружием располагают не только игроки государственного уровня — технология проста и доступна террористам или вымогателям для последующего шантажа. Хотя свидетельств такого рода атак на ЦОД пока нет, Uptime Institute рекомендует создать вокруг зданий зону отчуждения. Она не защитит от атаки специализированным оружием, но позволит избежать нападения злоумышленников-дилетантов с маломощным оборудованием.

Для особо важных объектов рекомендуется применять варианты клетки Фарадея (в том числе для хранения запчастей), защищённые серверные стойки и датчики ЭМИ, инициирующие физическую защиту важных зон. Но всё это довольно дорогие решения, так что предлагается как минимум увеличить запасы топлива для резервных генераторов и усилить контроль доступа как к самим зданиями, так и к помещениям внутри них.

Uptime Institute объявил о выходе Annual Global Data Center Survey — своего 12-го ежегодного исследования рынка ЦОД. Его результаты говорят о динамичном росте и повышении устойчивости отрасли, несмотря на влияние продолжающегося дефицита квалифицированных кадров, проблем в цепочке поставок, дорогостоящих сбоев и других сложностей.

Ежегодное глобальное исследование Annual Global Data Center Survey является крупнейшим и наиболее полным в отрасли цифровой инфраструктуры. Оно предоставляет подробное представление о ландшафте цифровой критической инфраструктуры и направлении её развития.

В рамках исследования представлены следующие ключевые выводы:

• Многие операторы ЦОД не готовы к ужесточению требований и правил устойчивого развития. Большинство респондентов отчитываются об общем энергопотреблении ЦОД и PUE, но многие до сих пор не отслеживают критически важные экологические показатели. Хотя 63 % операторов считают, что власти в их регионе потребуют от них публичного представления данных о влиянии их деятельности на окружающую среду в ближайшие пять лет, лишь 37 % собирают и сообщают данные о выбросах углерода (33 % в 2021 г.) и только 39 % предоставляют отчёты об использование воды, что на 12 % меньше по сравнению с 2021 годом. Ожидается, что новые законы, стандарты и требования заставят операторов внедрять в ближайшие годы более строгие методы отслеживания и отчётности в области устойчивого развития.
• Годовой показатель оценки энергоэффективности (PUE) составил в 2022 году 1,55. Это несколько лучше показателя 2021 года, равного 1,57, что соответствует тенденции незначительного снижения PUE, наблюдаемой с 2014 года.

• Все больше операторов ЦОД вкладывают средства в повышение отказоустойчивости объектов. При этом около 40 % респондентов сообщают о повышении уровня резервирования в своих основных ЦОД за последние три-пять лет. Аналогичное внимание уделяется системам питания и охлаждения: треть операторов модернизируют одну из них или обе.
• Отключения становятся все более дорогостоящими и по-прежнему происходят слишком часто. Доля всех отключений, которые обходятся операторам в более $1 млн, достигла 25 % по сравнению с 15 % в 2021 году. 60 % операторов сообщили об случае отключения (независимо от серьёзности) за последние три года — по сравнению с 69 % в 2021 г. и 78 % в 2020 г. Хотя данные указывают на тенденцию к снижению показателей отключений, частота отключений по-прежнему слишком высока, и в настоящее время более двух третей обходятся операторам свыше $100 тыс., а последствия становятся всё хуже.

• Растёт доверие операторов к публичному облаку. В 2022 г. около 63 % операторов не размещали критически важные рабочие нагрузки в публичном облаке, тогда как в 2019 г. этот показатель равнялся 75 %.
• Поставщики оборудования для ЦОД настроены оптимистично, несмотря на давление со стороны спроса и сохраняющиеся проблемы с цепочками поставок. Три четверти поставщиков прогнозируют годовой рост доходов в 2022 году, несмотря на сообщения о сокращении доходов из-за постоянных проблем с цепочками поставок, вызванных COVID-19. Почти половина респондентов, занимающихся строительством ЦОД, сталкивалась со значительными задержками (или другими серьёзными событиями) в своих цепочках поставок, а у одной трети были умеренные проблемы.
• Усугубляются проблемы с привлечением и удержанием квалифицированного персонала: более половины (53 %) операторов ЦОД сообщают о трудностях с поиском квалифицированных сотрудников в 2022 году — по сравнению с 47 % в 2021 году и 38 % в 2018 году. И 42 % респондентов сообщают о проблемах с переманиваем персонала (в большинстве случаев к конкурентам) — значительный рост, превышающий всего 17 % в 2018 году. Это свидетельствует о растущей проблеме удержания сотрудников во всей отрасли.